Theo sử sách, chùa được xây lần thứ nhất năm 1049: "Mùa đông tháng 10 dựng chùa Diên Hựu. Trước đây, vua chiêm bao thấy Phật Quan Âm ngồi trên toà sen, dắt vua lên toà. Khi tỉnh dậy vua nói với bề tôi, có người cho là điềm không lành. Có nhà sư Thiền Tuệ khuyên vua làm chùa, dựng cột đá ở giữa đất, làm toà sen của phật Quan Âm như đã thấy ở trong mộng. Cho các nhà sư đi xung quanh tụng kinh cầu nhà vua sống lâu. Vì thế gọi là chùa Diên Hựu (phúc lành dài lâu). Năm 1070 mùa xuân tháng giêng năm Thần Võ thứ 2, vua viết chữ Phật dài 1 trượng 6 thước khắc vào phiến đá".
Năm 1105, vua Lý Nhân Tông cho mở rộng kiến trúc khu chùa có thêm hồ Linh Chiểu. Về sau, quy mô chùa Một Cột chỉ còn lại ngôi chùa nhỏ trên cột đá như hình ảnh hiện nay. Thực dân Pháp trước khi rút khỏi Hà Nội đã cho nổ mìn phá chùa. Tuy nhiên, chùa đã được trùng tu cơ bản như trước. Chùa Một Cột hiện nay bao gồm đài Liên Hoa hình vuông, chiều dài mỗi cạnh 3 m, mái cong, dựng trên cột cao 4 m (không kể phần chìm dưới đất), đường kính 1,20 m có cột đá là 2 khúc chồng lên nhau thành một khối. Tầng trên của cột là hệ thống những đòn gỗ làm giá đỡ cho ngôi đài ở trên.
Chùa Một Cột (Liên Hoa Đài) được tạo hình bởi một trụ đá gồm 2 khối, gắn rất khéo, thoạt nhìn như một khối đá liền. Tầng trên là một khung gỗ kiên cố đỡ ngôi đài với mái ngói, bốn góc uốn cong, trên có hình lưỡng long triều nguyệt. Sự độc đáo của kiến trúc chùa Một Cột là toàn bộ ngôi chùa được đặt trên một cột đá.
Bố cục kiến trúc, trang trí có sự kết hợp táo bạo của trí tưởng tượng lãng mạn đầy thi vị qua hình tượng hoa sen và những giải pháp hoàn hảo về kết cấu kiến trúc gỗ bằng hệ thống móng giằng; đặc biệt là sử dụng các cột chống chéo lớn từ cột đến sàn, vừa tạo thế vững chắc, vừa mang lại hiệu quả thẩm mỹ như đường lượn của cánh sen, thiết lập sự hài hoà giữa mái và sàn bởi một đối xứng ảo. Cùng với ao hình vuông phía dưới có thể là biểu tượng cho đất (trời tròn, đất vuông), ngôi chùa như vươn lên cái ý niệm cao cả: Lòng nhân ái soi tỏ thế gian. Khối kiến trúc gỗ đá được phù trợ bởi cảnh quan, có ao, có cây cối đã tạo nên sự gần gũi, tinh khiết mà vẫn thanh lịch. Cảm giác thanh cao của kiến trúc như chia sẻ, hoà đồng với trời nước và màu xanh của cây lá khiến con người rũ sạch ưu phiền, đạt tới sự trong sáng của tâm hồn.
Chùa Một Cột hiện nay nằm trong khu vực Lăng Chủ tịch Hồ Chí Minh. Chùa hiện nay nhỏ hơn so với nguyên mẫu để ghi nhớ lại nơi đây đã từng có một công trình kiến trúc độc đáo. Chùa Một Cột có kết cấu bằng gỗ, trong chùa đặt tượng Phật bà Quan Âm để thờ. Lối đi lên chùa là một cầu thang nhỏ làm bằng gạch. Trên cửa Phật đài có biển đề "Liên Hoa Đài" (Đài hoa sen) ghi nhớ sự tích nằm mộng của vua Lý dẫn tới việc xây chùa.
Chùa Một Cột là công trình sáng tạo kết hợp không gian kiến trúc có nhịp điệu cao thấp gồm điêu khắc đá, hội hoạ, chạm vẽ hành lang, mặt nước là biểu tượng văn hoá, nghệ thuật cao, tính dân tộc đậm nét. Lối kiến trúc "một cột" là nghệ thuật kiến trúc cổ truyền có từ trước đời Lý. Tại Hoa Lư (Ninh Bình) cũng có một ngôi chùa thờ con gái vua Đinh Tiên Hoàng. Chùa có một cây cột đá cao, sáu cạnh, khắc bài kinh Lăng Nghiêm, đề niên hiệu thời Lê Hoàn (981–1005). Phía trên cột là tòa sen chạm. Năm Long Thụy Thái Bình thứ năm đời Lý Thánh Tông (1058) có xây điện Linh Quang ở Thăng Long, phía trước điện dựng lầu chuông, một cột sáu cạnh hình bông sen…
Một ngôi chùa tưởng như rất nhỏ bé mong manh, có lẽ cả thế giới chỉ Việt Nam mới có ngôi chùa kiến trúc siêu nhỏ như vậy nhưng giá trị văn hóa, lịch sử vô cùng to lớn, lại trường tồn cùng dân tộc. Một ngôi chùa giữa hồ nước chỉ đủ chỗ cho mấy bát hương, một pho tượng, không tường hào, không tháp chuông, không cổng tam quan nhưng vẫn uy nghiêm trong tâm linh dân tộc, là hình ảnh biểu trưng của thủ đô, vững vàng trong dòng thời gian bất tận.
