Trong sách La Thành cổ tích vịnh viết năm 1788 của Trần Bá Lãm (1757-1815), tác gia nổi tiếng đương thời từng đỗ Tiến sỹ chế khoa năm Đinh Mùi 1787, hàm Đông các đại học sỹ, có viết về chùa Một Cột (Nhất Trụ): “Chùa ở tại xã Nhất Trụ, huyện Vĩnh Thuận. Thời xưa, đất ấy bỏ hoang chưa có xóm trại. Cao Biền sang ta đô hộ An Nam bảo đất ấy là chỗ sườn rồng chạy, sai đóng cột đồng vào đấy, cắt đứt long mạch. Về sau dân đến ở thành thôn xã, gọi là Nhất Trụ. Vua Lý Thái Tông tuổi đã cao chưa có người nối nghiệp, đêm nằm mộng thấy đến thôn Nhất Trụ, thấy vị Quan âm Bồ Tát gọi vua bảo: “Đất này rất linh, cột đồng làm thương tổn đến long mạch đã lâu, nên kịp hủy bỏ đi thì vận nước lâu thêm mấy đời nữa”. Nói xong vời vua lên đài vàng, ẵm tiên đồng ban cho. Tỉnh mộng, vua cho xây chùa ở phía tây làng để thờ Quan âm Bồ Tát”.
Ghi chép của Trần Bá Lãm cho ta biết rằng, vùng đất có tên là Nhất Trụ đã là thôn xã từ trước thế kỷ thứ XVIII. Còn Đại Việt sử ký toàn thư ghi: “Mùa đông, tháng mười (năm Thiên Cảm Thánh Vũ thứ sáu, 1049) dựng chùa Diên Hựu. Trước đấy, vua chiêm bao thấy Phật Quan âm ngồi trên tòa sen, dắt vua lên tòa. Tỉnh dậy, vua đem việc ấy nói với bề tôi, có người cho là điềm không lành. Nhà sư Thiền Tuệ khuyên vua làm chùa, dựng cột đá giữa đất làm tòa sen của Phật đặt trên cột đá như đã thấy trong mộng, cho các nhà sư đi lượn vòng chung quanh, tụng kinh cầu cho nhà vua sống lâu. Vì thế gọi là chùa Diên Hựu” (Diên Hựu nghĩa là “kéo dài cõi phúc”). Chính sử ghi thật vắn tắt, khiến chúng ta không hiểu rõ chùa Một Cột có phải là chùa Diên Hựu, và nếu chùa Một Cột chính là chùa Diên Hựu thì, một diện tích khiêm tốn như vậy làm sao đủ chỗ thờ tự, hành lễ, chỗ cho tăng chúng ở?
Một sở cứ rất quan trọng để tìm hiểu rõ về chùa Một Cột và chùa Diên Hựu, đó chính là văn bia chùa Một Cột (Nhất Trụ tự bi) khắc ngày 15 tháng 6 năm Cảnh Trị thứ ba, đời Lê Huyền Tông, 1665: “Nước Việt ta xưa trong thành Long Biên có một cái hồ hình vuông. Năm đầu niên hiệu Hàm Thông Đường, dựng một cái cột đá giữa hồ, trên cột xây một tòa lầu ngọc, trong đó đặt tượng Quan âm để thờ cúng. Khí đất chung đúc anh linh, cầu gì được nấy. Đến triều Lý xây dựng Kinh đô ở đây cũng noi theo dấu cũ, ngày càng sùng kính, nên càng linh thiêng. Khi Lý Thái Tông chưa có hoàng tử, thường đến đó cầu nguyện. Một đêm nằm mộng thấy Phật Quan âm mời lên lầu, ôm một đứa bé đặt vào lòng. Tháng đó hoàng hậu có mang hoàng tử. Vua bèn cho sửa thêm ngôi chùa Diên Hựu ở bên phải chùa Nhất Trụ để mở rộng việc thờ cúng, làm sáng tỏ sự tôn sùng. Trải qua ba, bốn triều đại, đều nối tiếp nhau dựa trên cơ sở cũ sửa sang thêm và được hưởng phúc như cát sông Hằng”. Văn bia, vốn là nguồn sử liệu đáng tin cậy nhất, đã cho biết: Chùa Nhất Trụ vốn là một tòa lầu ngọc có từ trước thời Lý nhiều thế kỷ. Lý Thái Tông chỉ cho “sửa thêm ngôi chùa Diên Hựu” (chúng tôi nghĩ “sửa thêm” có nghĩa là làm thêm).
Sau này, chùa Diên Hựu còn được tu sửa nhiều lần, như Đại Việt sử ký toàn thư ghi: “Mùa thu, tháng 9, năm Long Phù thứ năm, 1105, làm hai ngọn tháp chỏm trắng ở chùa Diên Hựu. Bấy giờ, vua cho chữa lại chùa Diên Hựu đẹp hơn cũ, vét hồ Liên Hoa Đài gọi là hồ Linh Chiểu”. Như chúng tôi nghĩ, trụ đá có tòa lầu ngọc ở trên, như toà sen giữa hồ Linh Chiểu, được hoàn chỉnh, gọi là chùa Một Cột. Hồ Linh Chiểu có hành lang chạm vẽ bao quanh. Ngoài hành lang đó, lại đào hồ lớn Bích Trì. Nếu ở ngay bên phải chùa Một Cột là chùa Diên Hựu, thì hồ Bích là trong khuôn viên chùa Diên Hựu. Trước sân chùa Diên Hựu còn được dựng một tòa tháp lớn bằng đá trắng cao 13 trượng, gọi là tháp Bạch Tuynh. Từ tháp Bạch Tuynh, có cầu vồng dẫn vào chùa Một Cột. “Hàng tháng, cứ ngày rằm, mồng một, và mùa hạ, mồng 8 tháng 4, vua xa giá ngự đến, đặt lễ cầu sống lâu…” (ĐVSKTT). Đặc biệt, ngày Phật đản mồng 8 tháng 4 hàng năm, nhà vua ra chùa từ đêm hôm trước, giữ mình chay tịnh, để hôm sau làm lễ tắm Phật…
Một số thư tịch, trong đó có sách Cổ tích và thắng cảnh Hà Nội của học giả Doãn Kế Thiện chép: “Vào năm Long Phù thứ 8 đời Lý Nhân Tông, 1108, vua cho xuất của kho 1 vạn 2 ngàn cân đồng để đúc một quả chuông lớn có tiếng vang thức tỉnh người đời, gọi là Giác Thế chung. Định là sẽ treo chuông ở chùa Diên Hựu…”
Như vậy, cùng với chùa Một Cột, chúng ta còn có một ngôi chùa rất cổ, là chùa Diên Hựu. Qua bao biến động lịch sử, chùa Diên Hựu không còn. Chùa Một Cột, trải bao dầu dãi, thăng trầm, nhờ có nhiều lần trùng tu lớn mà giữ lại được đến ngày nay.