Theo sách Hoàng Lê Nhất Thống Chí, vào thời vua Lê Thế Tông, các nước Chiêm Thành, Ai Lao thường cử sứ giả sang triều cống Việt Nam. Nhà vua cho dựng một tòa nhà gọi là Quán Sứ để tiếp đón các sứ thần đến Thăng Long.
Vì sứ thần các nước này đều sùng đạo Phật nên lại dựng thêm một ngôi chùa cũng nằm trong khuôn viên Quán Sứ để họ có điều kiện hành lễ. Thời gian đã xóa đi dấu khu nhà Quán Sứ nhưng ngôi chùa thì vẫn tồn tại.
Theo bài văn của Tiến sĩ Lê Duy Trung khắc trên tấm bia dựng năm 1855, vào đầu đời Gia Long (1802-1819) chùa gần đồn Hậu Quân. Đến năm 1822, chùa được sửa sang để làm chỗ lễ bái cho quân nhân ở đồn này. Khi quân ở đồn này rút đi, chùa được trả lại cho dân làng. Nhà sư Thanh Phương trụ trì ở chùa lúc đó mới làm thêm các hành lang, tô tượng, đúc chuông. Tiền đường của chùa thờ Phật, còn hậu đường thờ vị quốc sư Minh Không thời Nhà Lý.
Năm 1934, Tổng hội Phật giáo Bắc Kỳ thành lập, chùa Quán Sứ được chọn làm trụ sở trung ương. Năm 1942 chùa đã được xây dựng lại theo bản thiết kế của hai kiến trúc sư Nguyễn Ngọc Ngoạn và Nguyễn Xuân Tùng do chính Tổ Vĩnh Nghiêm duyệt.
Tam quan của chùa có ba tầng mái, nằm giữa là lầu chuông. Qua tam quan là một sân rộng lát gạch, bước lên 11 bậc thềm là tới chánh điện cao, hình vuông, xung quanh có hành lang.
Điện Phật được bài trí trang nghiêm, các pho tượng đều khá lớn và thếp vàng lộng lẫy. Phía trong cùng, thờ ba vị Tam thế Phật trên bậc cao nhất. Bậc kế tiếp thờ tượng Phật A-di-đà ở giữa, hai bên có tượng Quan Thế Âm và Đại Thế Chí. Bậc dưới đó, ở giữa thờ Phật Thích ca, hai bên là A-nan-đà và Ca-diếp. Bậc thấp nhất, ở ngoài cùng có tòa Cửu Long đứng giữa.
Tượng Quan Âm và Địa Tạng được đặt hai bên chính điện.
Gian bên phải chính điện thờ Lý Quốc Sư (tức Thiền sư Minh Không) với hai thị giả, gian bên trái thờ tượng Đức Ông và tượng Châu Sương, Quan Bình.
Hai bên và đằng sau sân là các dãy nhà dùng làm nhà tổ, thư viện, giảng đường, nhà khách và tăng phòng.
Chùa Quán Sứ có lẽ là một trong rất ít ngôi chùa ở Việt Nam mà tên chùa cũng như nhiều câu đối đều được viết bằng chữ quốc ngữ. Phải chăng vì ngôi chùa được xây dựng lại vào giữa thế kỷ 20 và vì chùa đã trở thành trụ sở trung tâm của Tổng hội Phật giáo Bắc Việt, nay là của Giáo hội Phật giáo Việt Nam, ngôi Quốc tự chung của các thiện nam tín nữ trên đất Việt. Phân viện Nghiên cứu Phật học thuộc Giáo hội cũng đặt ở đây.
Nửa thế kỷ nay, chùa Quán Sứ đã chứng kiến nhiều hoạt động quan trọng của Phật giáo Việt Nam, trong đó có sự thống nhất tổ chức Phật giáo trong nước và sự hòa nhập của Phật giáo Việt Nam với Phật giáo thế giới. Chính nơi đây vào ngày 13 tháng 5 năm 1951 (mồng 8 tháng 4 năm Tân Mão) lần đầu tiên lá cờ Phật giáo thế giới do Thượng tọa Tố Liên mang về từ Colombo đã xuất hiện trên bầu trời Hà Nội.
Năm 1952, Giáo hội Tăng già toàn quốc đã được thành lập tại đây.
Năm 1981, các đại biểu từ 9 tổ chức, giáo hội, hệ phái Phật giáo đã vân tập về đây dự Hội nghị đại biểu thống nhất Phật giáo, thành lập GHPGVN.
