ปราสาทถูกสร้างโดยพระเจ้าสุริยะวรมันที่ 1 ทรงคล้างๆ พีระมิด มีตำนานเล่าว่าในสมัยก่อน กษัตริย์ทุกพระองค์ต้องเสด็จมาหลับนอนกันนางนาค ซึ่งทำหน้าที่คอยปกป้องคุ้มครองเมืองอยู่ที่นี่ทุกคืน หากกษัตริย์องค์ใดปฏิบัติกิจไม่ครบวัน จะถูกนางแผลงฤทธิ์บันดาลให้ทรงประชวรจนอาจถึงสวรรณคต หรือบ้านเมืองล่มสลายเลยทีเดียว...เขาว่างั้น โหดอ่ะ