Khi xưa, Cao Biền sang ta đắp thành Đại La. Một buổi trưa, đi chơi vơ vẩn ra cửa đông ngoài thành, bỗng thấy mây mù nổi to, rồi có 5 sắc rực rỡ bốc từ mặt đất lên tới trên không tụ lại. Dưới làn mây năm sắc khí trời trơ trơ nên lạnh lẽo. Trông trong làn mây thấy một người cưỡi rồng vàng, đầu đội mũ hoa, mình mặc áo tía, xiêm thêu, giày đỏ, đồng thời thấy mùi hương ngào ngạt, tiếng nhạc vang lừng một hồi lâu mới tan. Cao Biền kinh hãi, cho là yêu quái. Đêm hôm ấy, Biền mộng thấy một ông hình dạng ăn mặc y như lúc thấy ban ngày, đến bảo Biền rằng: “Tôi là Long Độ Vương khi quẩn, thấy ông mở dựng đô thành, nên tôi lại chơi, ông đừng ngờ!” Biền tỉnh dậy, nói chuyện với mọi người rồi than rằng: “Ta không biết làm chính trị, để quỷ thần trêu ta, điềm tốt hay điềm dở đây?” Có người bảo Biền dựng đền, đắp tượng thờ, rồi lấy đồng sắt chôn xuống để trấn áp. Biền theo lời làm như thế. Bỗng một cơn mưa bão rất to, đổ cây, tung đất, bao nhiêu đồng sắt đã yểm đều tan ra tro bụi. Biền thấy vậy, than rằng: “Ta sẽ phải về Bắc mất!”, rồi quả nhiên Biền phải về thật.
Đến đời nhà Lý, dựng đô ở đây, vua Thái Tông cho mở phố chợ về cửa đông, hàng quán chen chúc, sát tới bên đền, rất là huyên náo. Muốn dựng đền ra một chỗ khác, song vua lại nghĩ: một ngôi đền cổ không nên dời đi, mới đem sửa sang lại đền, liền dời các nhà ngoài phố, riêng để một ngôi nhà bên trong làm nơi thờ thần. Đến đêm, thần liền hiển linh nổi trận gió bắc rất to, các nhà bên đền đều đổ, duy đền thờ thần vẫn nguyên vẹn. Vua Thái Tông lấy làm lạ hỏi, có người biết, tâu rõ việc hiển linh của thần từ trước. Vua mừng nói: “Đó thật là thần coi việc nhân gian” liền xuống chiếu cho sửa lễ tế đền và đặt lệ mỗi năm cứ đầu mùa xuân lại đến đền làm lễ cầu phúc. Lại sắc phong thần là Quảng Lợi Vương. Trước đây, ở phố chợ cửa đông, ba lần phát hỏa, các nhà trong phố bị cháy hầu hết, duy chỗ đền thờ thần, lửa không bao giờ lan tới.
Năm Trùng Hưng 1, sắc phong hai chữ Thánh Hựu, năm Hưng Long 21, gia phong hai chữ Phu Ứng, tiến tước lên Đại Vương.
Quan Thượng tướng Thái sư Trần Quang Khải có để một bài thơ ở đền rằng:
Tích văn nhân đạo Đại vương linh,
Kim nhật phương tri quỷ mị kinh.
Hỏa bác tam khu thiêu bất tận,
Phong trần nhất trận phiến nan khuynh,
Chỉ huy vọng lượng tam thiên chúng,
Đàn ấp yêu ma bách vạn binh,
Nguyện trượng dư uy thanh bắc khấu,
Đốn linh vũ trụ lạc thanh bình.
Nghĩa là:
Trước vẫn nghe người ta nói: Đại vương thiêng.
Nay mới biết bọn ma quỷ đều khiếp sợ Đại vương.
Lửa bốc ba lần không cháy được đền.
Gió bão một trận không làm nghiêng được.
Chỉ huy ba nghìn quân binh,
Đàn áp được yêu ma trăm vạn.
Xin nhờ dư uy của Đại vương để dẹp giặc Bắc
Khiến cho vũ trụ được yên bình.
Tới nay, đền thờ nguy nga, tiếng anh linh còn mãi mãi.