Chùa Bà Đanh trong lời đồn năm xưa nằm ở vị trí xa dân cư, ba mặt là sông, rừng rậm chắn, lối đi độc đạo, lại có nhiều thú dữ nên không nhiều người dám vào.
Chùa Bà Đanh là một quần thể kiến trúc liên hoàn gồm nhà bái đường, nhà thượng điện, nhà trung đường, phủ thờ Mẫu, nhà Tổ…, ngôi chùa thuộc dòng Phật giáo Đại Thừa này có những nét riêng độc đáo.
Cổng có 3 gian, 2 tầng, ở trên là gác chuông, ở dưới là hệ thống cửa gỗ hoa văn đơn giản. Tuy nhiên cổng này chỉ mở khi chùa có đại lễ nên khách phải đi qua 2 cổng nhỏ ở hai bên với mái ngói cong như hình bán nguyệt. Lễ hội chùa Bà Đanh được tổ chức từ 9-11/2 âm lịch hàng năm. Ngoài những nghi thức tế lễ truyền thống, chùa còn tổ chức lễ cầu an, rước kiệu và trò chơi dân gian như: Chọi gà, kéo co, bơi thuyền chải, cờ người.Tương truyền vào thế kỷ thứ VII, đây là một ngôi đền nhỏ thờ tứ pháp (Pháp Vân, Pháp Vũ, Pháp Lôi, Pháp Điện). Đến thời Lê Huy Tông (1675 – 1750), chùa được xây dựng to đẹp hơn.
Bia đá và chuông cổ có từ ngày xây chùa Bà Đanh còn lưu giữ đến ngày nay.
Khu Trung Đường của chùa Bà Đanh gồm 5 gian liền kề với Bái Đường, có bít 2 đầu và lợp ngói lam. Trước nhà Trung Đường dùng màn che, chấn song tiện gỗ chắc chắn. Nguyễn Hải Long – sinh viên Đại học Xây dựng cùng các bạn học đến lễ chùa, tham quan, lễ Phật và tìm hiểu vì sao có câu nói “vắng như chùa Bà Đanh”.
Trước cửa chùa Bà Đanh là dòng sông Đáy chảy qua. Mỗi dịp cuối tuần, rất đông du khách đến đây để lễ và vãn cảnh.
Chị Nguyễn Ngọc Xuân Trang (Hà Nội) cảm nhận ngôi chùa rất đẹp, yên tĩnh nên hàng tháng đều đến dâng hoa, lễ Phật.
Có nhiều cách lý giải về sự ra đời của câu nói “vắng như chùa Bà Đanh” nhưng theo ý kiến của nhiều người, là do chùa nằm ở vị trí u tịch, xa dân cư, ba mặt là sông, rừng rậm chắn, lối đi độc đạo, lại có nhiều thú dữ nên không mấy ai dám vào. Cách duy nhất để an toàn là du khách phải chèo thuyền qua sông Đáy. Nhưng như vậy quá bất tiện nên người hành hương rất thưa thớt.Chùa Bà Đanh có diện tích khoảng 10ha, được xem là một trong những ngôi chùa đẹp và cổ kính nhất Hà Nam nói riêng và của miền Bắc nói chung. Năm 2007, UBND tỉnh Hà Nam phối hợp với Bộ VHTTDL đầu tư gần 20 tỷ đồng để tôn tạo và nâng cấp chùa Bà Đanh.