Gần 1000 năm tồn tại, chùa là nơi lưu giữ nhiều nét kiến trúc và văn hóa đất kinh kỳ. Ngay cái tên chùa cũng có rất nhiều truyền thuyết và cách giải thích khác nhau. Theo lời văn trên tấm bia được lập vào năm Hồng Đức thứ 28còn lại ở đây thì chỉ biết chùa còn có tên là Thanh Hồ (Thanh Hồ tự).
Truyền thuyết khác lại kể rằng, chùa được xây từ thời Lý, đến thời Lê có một người con gái đẹp lấy một nhà buôn giàu có người Hoa, đã bỏ tiền ra xây dựng lại ngôi chùa này to đẹp hơn ngôi chùa cũ, do đó mới có tên là bà Ngô (Ngô Khách).
Người dân địa phương lại có cách giải thích khác về cái tên Ngọc Hồ, đó là chùa vốn có một giếng nước rất trong không bao giờ cạn, một thứ lễ vật tinh khiết bậc nhất dâng lên Tam Bảo.
Giếng được bảo vệ như vật báu, được xây và có nắp đậy, hiện nay ở dưới mé tam quan của chùa vẫn được coi như bầu nước tinh khiết, quý giá như ngọc nên thành tên chùa.
Theo sách “La thành cổ tích vịnh” của Trần Bá Lãm thì chùa lại có nhiều sự tích liên quan đến các tiên nữ. Theo sách này, nguyên tại đây xưa có một gò hình cái bầu đựng rượu (tửu hồ), năm Kiến Gia thứ 8 (1281), Lý Huệ Tông đã cho dựng trên gò ngôi chùa Ngọc Hồ (bầu bằng ngọc, đẹp và quý như ngọc).
Nơi đây, thời Trần có nhiều tiên nữ thích cảnh đẹp thường qua lại nên chùa còn có tên là Tiên Phúc Tự (chùa được tiên ban phúc).
Một câu chuyện gặp tiên khác vẫn được kể, tại chùa này vào thời vua Lê Thánh Tông,vua có lần tới hành hương tại chùa Ngọc Hồ nghe thấy một giọng nữ ngâm hai câu thơ: “Tới đây mến cảnh, mến thầy/ Tuy vui đạo Phật, chưa khuây lòng người”.
Giọng ngâm lanh lảnh, lời chỉnh và ý đẹp. Vua cho vời tới thì là một thiếu nữ xinh đẹp. Vua khen văn tài, ngỏ ý muốn cùng xướng hoạ. Thiếu nữ xin vua xướng thơ trước. Vua làm bài thơ tám câu, trong đó có hai câu:“Chày kình một tiếng tan niềm tục/ Hồn bướm năm canh lẩn sự đời”.
Nàng ngỏ lời khen phục, nhưng xin sửa lại thành: “Gió thông đưa kệ tan niềm tục/ Hồn bướm mơ tiên lẩn sự đời”. Vua rất phục, mời nàng lên kiệu về cung, nhưng đến cửa Đại Hưng thì nàng biến mất.
Vua cho là tiên giáng trần, dựng lầu Vọng Tiên ở đó để tưởng nhớ. Lầu Vọng Tiên bị dỡ khi phá thành Thăng Long xây lại và được chuyển về số 120B phố Hàng Bông thành đền Vọng Tiên.
Hiện nay, sát cạnh chùa Ngọc Hồ còn có đền thờ vua Lê Thánh Tông nhằm nhắc nhớ về cuộc ngự du và gặp tiên của nhà vua.
Nhiều nhà nghiên cứu cho rằng, giai thoại hội ngộ giữa vua Lê và tiên nữ khiến chùa Ngọc Hồ trở thành ngôi chùa duy nhất ở Thăng Long thể hiện một khía cạnh khá đặc biệt của đạo Phật ở nước ta. Đó là tư tưởng giải thoát mọi sự phiền muộn của đạo Thiền kết hợp với hướng siêu thoát của đạo Tiên (một biến thể của đạo Lão) nhằm đạt tới một cảnh giới thanh cao, sống hoà vui với thiên nhiên.
Trải qua gần 1000 năm, ngôi chùa mang trong mình bao nhiêu sự tích, huyền thoại và đã chứng minh bao nhiêu biến thiên của kinh kỳ.
Chùa được trùng tu nhiều lần. Trong Ngọc Hồ tự bi kí dựng năm Tự Đức thứ 17 đã ghi: Năm Tân Dậu (1861) làm mới ngôi nhà tổ 5 gian, các năm Nhâm Tuất (1862), Quý Hợi (1863), Giáp Tý (1864), Ất Sửu (1865) tô tượng, đúc chuông, sửa chữa nhỏ...
Thời Bảo Đại, chùa được sửa chữa lớn và kiến trúc của chùa hiện nay mang đậm dấu ấn của lần tu sửa năm 1934 ấy. Sau khi được trùng tu, chùa trở nên khang trang với đầy đủ kiến trúc của một công trình thờ Phật: tam quan, tiền đường, hậu đường, nhà Tổ, điện Mẫu và nhiều di vật, tế khí quý.
Tam quan chùa cũng là gác chuông hai tầng tám mái với tám góc đao cong. Một quả chuông đồng đúc năm Canh Dần – Thành Thái (1887) được treo giữa tam quan có dòng chữ Ngọc Hồ tự chung.
Phật điện gồm tiền đường và hậu cung, làm theo kiểu chữ đinh. Hiện trong của tiền đường chạm vòm cuốn, mở rộng bằng một vì vỏ cua. Đây là một kiểu kiến trúc ít thấy ở miền Bắc mà thường tập trung nhiều ở vùng phố cổ Hội An, Huế với hai đầu làm theo kiểu nhà kèn.
Hậu cung bốn gian có nhiều cửa võng. Cửa võng nằm dưới bức đại tự Ngọc Hồ thế giới với trang trí rồng chầu mặt nguyệt, hoa quả thiêng, sách bút.
Điện Mẫu thờ các Mẫu, Ngọc Hoàng và vua Lê Thánh Tông ngồi trên ngai rồng. Hai bên thờ đức thánh Trần Hưng Đạo cùng hai gia tướng là Yết Kiêu và Dã Tượng.
Chùa Ngọc Hồ được xây dựng và phát triển từ nhiều thế kỷ, do đó đã lưu giữ được nhiều nét kiến trúc đẹp và nhiều văn bia, câu đối và một khối lượng di vật rất lớn ở nhiều thể loại như long ngai, bài vị, các tế khí… làm cho ngôi chùa có một giá trị về lịch sử, kiến trúc, tôn giáo.
Năm 1993 chùa đã được Bộ VHTT công nhận là di tích lịch sử văn hoá.
