Trước đây, chùa thuộc thôn Hàm Châu trong tổng Hậu Nghiêm (sau đổi thành tổng Thanh Nhàn), huyện Thọ Xương và ở khu vực Đông Nam kinh thành. Chùa Hàm Long ban đầu là đền, sau mới chuyển thành chùa và chùa vẫn mang dấu vết của đền và thờ vị thần trước kia ngự ở đền, đó là Long Thần (vốn tên là Ngô Long, sống dưới thời Hùng Vương thứ 18).
Theo thần phả lưu giữ lại, thần Ngô Long là vị phụ đạo chính quốc thời Hùng Duệ Vương, có công dẹp giặc Hồ Lư ở Châu Hoan. Ngô Long từng sống ở quán Long Đầu. Sau khi ông mất, dân chúng sửa quán Long Đầu khang trang, làm thành đền Hội Khánh để thờ phụng.
Từ khi được xây dựng, đền Hội Khánh luôn nghi ngút khói hương. Sang đến triều Lý, vị vua khai sáng là Lý Công Uẩn, thuở hàn vi ở chùa Tiêu Sơn, nên rất coi trọng đạo Phật. Khi dời đô từ Hoa Lư đến thành Đại La, đổi tên là Thăng Long, vua phát hiện trong địa phận kinh thành mới có đền thờ vị thần Ngô Long, vốn là Long Thần giáng thế và là người có nhiều công lớn trong việc bảo vệ và giữ gìn đất nước dưới thời vua Hùng.
Vì vị thần này gắn với dân Việt con Rồng cháu Tiên, lại gắn với cả kinh đô Thăng Long, nên vua đã phong lại cho Ngô Long danh hiệu là Long Thần và cho đổi đền Hội Khánh thành chùa và theo thế đất, đền Hội Khánh tựa như rồng ngậm ngọc (Hàm Châu Long), nên cho đổi đền thành chùa Hàm Long.
Chùa thờ Phật nhưng đồng thời cũng thờ Ngô Long – vị Long Thần có nhiệm vụ bảo vệ chùa, hộ trì Phật pháp. Từ đó trở đi, chùa Hàm Long được mở rộng quy mô thành đồ sộ, kiến trúc đẹp đẽ, nổi tiếng cả kinh thành về sự linh ứng của Phúc thần Ngô Long.
Qua các triều đại, chùa Hàm Long nổi tiếng có đông khách thập phương đến viếng. Chùa cũng nổi tiếng linh ứng qua nhiều sự tích của thần Ngô Long trong việc âm phù vua Trần Nhân Tông dẹp giặc Mông Nguyên, giúp Lê Lợi đánh đuổi quân Minh…
Đến thế kỷ XVII, cả vua Lê và chúa Trịnh đều cúng tiền của, ruộng đất để tu sửa, mở mang chùa Hàm Long, muốn mượn cảnh chùa này hướng dân chúng vào việc thiện, cầu phúc cho quốc gia, khiến đổi mới đời sống muôn dân.
Cuối thế kỷ XVII, chùa bị hư hỏng nhiều, đất đai của nhà chùa bị lấn chiếm. Khi đó có bà Thái phi Trương Ngọc Chử, mẹ của chúa Trịnh Cương, đã cùng một số người trong dòng tộc chúa Trịnh xuất tiền của sửa lại ngôi chùa.
Sau mười hai năm trời, công việc trùng tu chùa Hàm Long mới hoàn thành, chùa càng được mở rộng về quy mô và tăng thêm vẻ tráng lệ. Chùa gồm chánh điện, tam quan, gác chuông với các tượng trang nghiêm, sơn son thếp vàng và chùa Hàm Long đã trở thành “một danh thắng trong ba mươi sáu cõi thiền”.
Khi người Pháp xâm chiếm Hà Nội, họ cho dựng một nhà thờ công giáo đối diện chùa Hàm Long, là nhà thờ Hàm Long. Nhưng chùa Hàm Long vẫn giữ được vẻ bề thế uy nghiêm của một ngôi chùa Việt, luôn đông người chiêm bái.
Đến năm 1947, toàn quốc kháng chiến, do bom đạn, chùa Hàm Long bị tàn phá nặng nề. Chùa chính và nhiều kiến trúc bị huỷ hoại chỉ còn lại hai tấm bia quý giá dựng năm Vĩnh Thịnh thứ 10 (1714) triều Trần Dụ Tông, văn bia do hai nhà văn hoá nổi tiếng đương thời là Nguyễn Quý Đức (1648 – 1720) và Đặng Đình Tướng (1649 – 1735) viết; hai tháp cổ thờ xá lợi hai hoà thượng từng trụ trì chùa Hàm Long; hai giếng ngọc.
Mấy năm sau, ngay trong hoàn cảnh kháng chiến, có các vị cao tăng đã đứng ra hưng công khuyến giáo các tín đồ, Phật tử góp công, góp của xây được hai dãy nhà hai tầng vừa để thờ Phật, vừa giảng pháp cho tăng ni Phật tử…
Tuy kiến trúc của chùa Hàm Long không đồng bộ theo kiến trúc cổ của chùa, nhưng nhiều năm, đây là ngôi chùa duy nhất của Hà Nội vừa là nơi thờ cúng vừa là trường học Phật pháp. Tam bảo của chùa Hàm Long cũng còn khá đầy đủ các bộ tượng, và được xếp đặt tuân theo quy ước truyền thống. Hầu hết các pho tượng có được vẻ đẹp của nghệ thuật tượng thờ đời Nguyễn.
Về mặt lịch sử, chùa Hàm Long là một di tích cổ và nổi tiếng của kinh thành Thăng Long xưa. Niên đại xuất hiện của chùa này chỉ đứng sau chùa Khai Quốc xây dựng từ thời Lý Nam Đế (sau là chùa Trấn Quốc). Nhiều thế kỷ, chùa Hàm Long gắn bó mật thiết với đời sống tinh thần và vẻ đẹp văn hoá của Thăng Long.
Chùa vừa thờ Thần vừa thờ Phật, đó là nét đặc trưng của Phật giáo Việt Nam.
Chùa Hàm Long có thể coi là một vốn quý trong các di sản văn hóa của Thủ đô, cần được quan tâm giữ gìn xứng đáng. Sau ngàn năm tồn tại, chùa Hàm Long hiện không còn bảo lưu được vẻ đẹp nguy nga, cổ kính như “danh thắng trong ba mươi sáu cõi thiền”.
Hơn nữa, hiện trạng hiện nay của chùa bị lấn chiếm, hư hỏng do thiên nhiên và cả con người tàn phá. Những người dân và chính quyền vẫn đang cố sức để khôi phục lại vẻ đẹp nguyên trạng của chùa, một công trình văn hóa cổ đất Thăng Long.